Beliau dilahirkan dalam tahun 1838 di Teluk Belanga, Singapura, dan mendapat pendidikan Melayu dan Inggeris. Beliau adalah berketurunan Bendahara Paduka Raja Johor dan Bendahara Kerajaan Melaka.Lima anaknya menjadi Menteri Besar Johor.

Beliau mempunyai lima isteri . Isteri 1 :Esah bte Ibrahim; 3 Wan Emon bte Abu Talib; 5 Datin Selamah Ambak ;Rogayah Hanim

Anaknya, Dato' Abdullah Jaafar juga menjadi Menteri Besar Johor ke-3.(September 1923 - 1928). Dato Abdullah adalah anak Wan Emon. Dato Abdullah 'berbeza pendapat' dengan Sultan lalu mengundurkan diri dan tinggal di Singapura. Selepas itu Dato' Mustapha Jaafar menjadi Menteri Besar Johor dari 16 September 1928 - 23 November 1931. Mustapha adalah anak Jaafar dengan isteri pertamanya Esah bte Ibrahim.

Sepupunya, Dato' Abdul Hamid Yusof , anak kepada abang Jaafar Muhammad menjadi Menteri Besar Johor ke-5.Menteri Besar ke-6 ialah Ungku Abdul Aziz Ungku Abdul Majid anak Dato’ Jaafar dengan isteri asal Turki, Rogayah Hanim. Rogayah Hanim adalah janda Ungku Majid, adik Sultan Abu Bakar.

Anaknya, Dato Onn Jaafar menjadi Menteri Besar Johor ke-7 (1 Jun 1947 - 18 Mei 1950). Onn Jaafar juga menjadi pengasas UMNO dan hampir menjadi Perdana Menteri Malaysia jika tidak kerana isu kerakyatan jus soli.

Anak perempuannya Dara bt Jaafar menjadi isteri ketiga Sultan Ibrahim. Cucunya Azah Aziz merupakan anak kepada Azizah Jaafar dan isteri Profesor Diraja Ungku Abdul Aziz.